Micron Document
<!DOCTYPE html>
<html class="client-nojs vector-feature-language-in-header-enabled vector-feature-language-in-main-page-header-disabled vector-feature-page-tools-pinned-disabled vector-feature-toc-pinned-clientpref-0 vector-toc-not-available vector-feature-main-menu-pinned-disabled vector-feature-limited-width-clientpref-1 vector-feature-limited-width-content-enabled vector-feature-custom-font-size-clientpref-1 vector-feature-appearance-pinned-clientpref-0 skin-theme-clientpref-day vector-sticky-header-enabled" lang="de" dir="ltr"><head>
<meta charset="UTF-8">
<title>N-Gramm</title>
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<link rel="icon" type="image/png" href="./_res_/favicon.png">
<link rel="canonical" href="https://de.wikipedia.org/wiki/N-Gramm"> <link href="./_mw_/ext.cite.styles.css" rel="stylesheet" type="text/css">
<link href="./_mw_/ext.math.styles.css" rel="stylesheet" type="text/css">
<link href="./_mw_/ext.wikimediamessages.styles.css" rel="stylesheet" type="text/css">
<link href="./_mw_/skins.vector.icons.css" rel="stylesheet" type="text/css">
<link href="./_mw_/skins.vector.search.codex.styles.css" rel="stylesheet" type="text/css">
<link href="./_mw_/skins.vector.styles.css" rel="stylesheet" type="text/css">
<meta name="ResourceLoaderDynamicStyles" content="">
<link href="./_mw_/ext.gadget.citeRef.css" rel="stylesheet" type="text/css">
<link href="./_mw_/ext.gadget.defaultPlainlinks.css" rel="stylesheet" type="text/css">
<link href="./_mw_/ext.gadget.dewikiCommonHide.css" rel="stylesheet" type="text/css">
<link href="./_mw_/ext.gadget.dewikiCommonLayout.css" rel="stylesheet" type="text/css">
<link href="./_mw_/ext.gadget.dewikiCommonStyle.css" rel="stylesheet" type="text/css">
<link href="./_mw_/ext.gadget.dewikiDarkmode.css" rel="stylesheet" type="text/css">
<link href="./_mw_/ext.gadget.dewikiResponsive.css" rel="stylesheet" type="text/css">
<link href="./_mw_/ext.gadget.specialSearch.css" rel="stylesheet" type="text/css">
<link rel="stylesheet" type="text/css" href="./_mw_/site.styles.css">
<link rel="stylesheet" type="text/css" href="./_mw_/noscript.css">
<link rel="stylesheet" type="text/css" href="./_res_/footer.css">
<link rel="stylesheet" type="text/css" href="./_res_/vector-2022.css">
</head>
<body class="skin--responsive skin-vector skin-vector-search-vue mediawiki ltr sitedir-ltr mw-hide-empty-elt ns-0 ns-subject page-N-Gramm rootpage-N-Gramm skin-vector-2022 action-view">
<div class="mw-page-container">
<div class="mw-page-container-inner">
<div class="mw-content-container">
<main id="content" class="mw-body">
<header class="mw-body-header vector-page-titlebar">
<h1 id="firstHeading" class="firstHeading mw-first-heading"><span class="mw-page-title-main">N-Gramm</span></h1>
</header>
<a id="top"></a>
<div id="bodyContent" class="vector-body ve-init-mw-desktopArticleTarget-targetContainer" aria-labelledby="firstHeading" data-mw-ve-target-container="">
<div id="contentSub">
<div id="mw-content-subtitle"></div>
</div>
<div id="mw-content-text" class="mw-body-content mw-content-ltr" lang="de" dir="ltr"><div class="mw-content-ltr mw-parser-output" lang="de" dir="ltr"><p>Ein <b>N-Gramm</b>, manchmal auch <b>Q-Gramm</b> genannt,<sup id="cite_ref-1" class="reference"><a href="#cite_note-1"><span class="cite-bracket">[</span>1<span class="cite-bracket">]</span></a></sup> ist das Ergebnis der Zerlegung eines Textes in Fragmente.
</p><p>Der Text wird dabei zerlegt, und jeweils <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle N}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>N</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle N}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/f5e3890c981ae85503089652feb48b191b57aae3.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:2.064ex; height:2.176ex;" alt="{\displaystyle N}" loading="lazy"></span>&nbsp;aufeinanderfolgende Fragmente werden als <i>N-Gramm</i> zusammengefasst. Die Fragmente können Buchstaben, <a href="Phonem" title="Phonem">Phoneme</a>, <a href="Wort" title="Wort">Wörter</a> und Ähnliches sein. N-Gramme finden Anwendung in der <a href="Kryptologie" title="Kryptologie">Kryptologie</a> und <a href="Korpuslinguistik" title="Korpuslinguistik">Korpuslinguistik</a>, speziell auch in der <a href="Computerlinguistik" title="Computerlinguistik">Computerlinguistik</a>, <a href="Quantitative_Linguistik" title="Quantitative Linguistik">Quantitativen Linguistik</a> und <a href="Computerforensik" class="mw-redirect" title="Computerforensik">Computerforensik</a>. Einzelne Wörter, ganze <a href="Satz_(Grammatik)" title="Satz (Grammatik)">Sätze</a> oder komplette <a href="Text" title="Text">Texte</a> werden hierbei zur Analyse oder statistischen Auswertung in N-Gramme zerlegt<sup id="cite_ref-2" class="reference"><a href="#cite_note-2"><span class="cite-bracket">[</span>2<span class="cite-bracket">]</span></a></sup> und in <a href="Datensatz" title="Datensatz">Datensätzen</a> zusammengefasst.
</p><p>Drei Datensätze von N-Grammen aus <a href="Google_Books" title="Google Books">Google Books</a> mit den Stichtagen Juli 2009, Juli 2012 und Februar 2020 wurden mit einer Weboberfläche und grafischer Auswertung in Form von <a href="Diagramm" title="Diagramm">Diagrammen</a> versehen und unter dem Namen <b>Google Books Ngram Viewer</b> ins Netz gestellt.
</p>

<div class="mw-heading mw-heading2"><h2 id="Arten_von_N-Grammen">Arten von N-Grammen</h2></div>


<p>Wichtige N-Gramme sind das <i>Monogramm</i>, das <i>Bigramm</i> (manchmal auch als Digramm bezeichnet) und das <i>Trigramm</i>. Das Monogramm besteht aus <i>einem</i> Fragment, beispielsweise nur aus einem einzelnen Buchstaben, das Bigramm aus <i>zwei</i> und das Trigramm aus <i>drei</i> Fragmenten. Allgemein kann man auch von <i>Multigrammen</i> sprechen, wenn es sich um eine Gruppe von <i>„vielen“</i> Fragmenten handelt.
</p><p>Die <a href="Pr%C3%A4fix" title="Präfix">Präfixe</a> wissenschaftlicher Bezeichnungen werden häufig unter Zuhilfenahme <a href="Griechische_Zahlw%C3%B6rter" title="Griechische Zahlwörter">griechischer Zahlwörter</a> gebildet. Beispiele sind <i>mono</i> für „allein“ oder „einzig“, <i>tri</i> für „drei“, <i>tetra</i> für „vier“, <i>penta</i> für „fünf“, <i>hexa</i> für „sechs“, <i>hepta</i> für „sieben“, <i>okto</i> für „acht“ und so weiter. <i>Bi</i> und <i>multi</i> sind Vorsilben lateinischen Ursprungs und stehen für „zwei“ beziehungsweise „viele“.
</p><p>Die folgende Tabelle gibt eine Übersicht über die Bezeichnungen der N-Gramme, sortiert nach der Anzahl der Zeichen <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle N}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>N</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle N}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/f5e3890c981ae85503089652feb48b191b57aae3.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:2.064ex; height:2.176ex;" alt="{\displaystyle N}" loading="lazy"></span> und versehen mit jeweils einem Beispiel, das Buchstaben des <a href="Lateinisches_Alphabet" title="Lateinisches Alphabet">lateinischen Alphabets</a> verwendet:
</p>
<table class="wikitable">

<tbody><tr>
<th>N-Gramm-Name</th>
<th>N</th>
<th>Beispiel
</th></tr>
<tr>
<td>Monogramm</td>
<td style="text-align:center">1</td>
<td>A
</td></tr>
<tr>
<td>Bigramm, Digramm</td>
<td style="text-align:center">2</td>
<td>AB
</td></tr>
<tr>
<td>Trigramm</td>
<td style="text-align:center">3</td>
<td>UNO
</td></tr>
<tr>
<td>Tetragramm</td>
<td style="text-align:center">4</td>
<td>HAUS
</td></tr>
<tr>
<td>Pentagramm</td>
<td style="text-align:center">5</td>
<td>HEUTE
</td></tr>
<tr>
<td>Hexagramm</td>
<td style="text-align:center">6</td>
<td>SCHIRM
</td></tr>
<tr>
<td>Heptagramm</td>
<td style="text-align:center">7</td>
<td>TELEFON
</td></tr>
<tr>
<td>Oktogramm</td>
<td style="text-align:center">8</td>
<td>COMPUTER
</td></tr>
<tr>
<td>…</td>
<td style="text-align:center">…</td>
<td>…
</td></tr>
<tr>
<td>Multigramm</td>
<td style="text-align:center">17</td>
<td>BEOBACHTUNGSLISTE
</td></tr></tbody></table>
<div class="mw-heading mw-heading2"><h2 id="Formale_Definition">Formale Definition</h2></div>
<p>Sei <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \Sigma }">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi mathvariant="normal">Σ<!-- Σ --></mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle \Sigma }</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/9e1f558f53cda207614abdf90162266c70bc5c1e.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.678ex; height:2.176ex;" alt="{\displaystyle \Sigma }" loading="lazy"></span> ein endliches <a href="Alphabet_(Kryptologie)" title="Alphabet (Kryptologie)">Alphabet</a> und sei <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>n</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle n}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a601995d55609f2d9f5e233e36fbe9ea26011b3b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.395ex; height:1.676ex;" alt="{\displaystyle n}" loading="lazy"></span> eine positive ganze Zahl. Dann ist ein <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>n</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle n}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a601995d55609f2d9f5e233e36fbe9ea26011b3b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.395ex; height:1.676ex;" alt="{\displaystyle n}" loading="lazy"></span>-Gramm ein Wort <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle w}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>w</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle w}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/88b1e0c8e1be5ebe69d18a8010676fa42d7961e6.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.664ex; height:1.676ex;" alt="{\displaystyle w}" loading="lazy"></span> der Länge <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>n</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle n}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a601995d55609f2d9f5e233e36fbe9ea26011b3b.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.395ex; height:1.676ex;" alt="{\displaystyle n}" loading="lazy"></span> über dem Alphabet <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \Sigma }">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi mathvariant="normal">Σ<!-- Σ --></mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle \Sigma }</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/9e1f558f53cda207614abdf90162266c70bc5c1e.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.678ex; height:2.176ex;" alt="{\displaystyle \Sigma }" loading="lazy"></span>, das heißt <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle w=(w_{1},\ldots ,w_{n})\in \Sigma ^{n}}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>w</mi>
<mo>=</mo>
<mo stretchy="false">(</mo>
<msub>
<mi>w</mi>
<mrow class="MJX-TeXAtom-ORD">
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<mo>…<!-- … --></mo>
<mo>,</mo>
<msub>
<mi>w</mi>
<mrow class="MJX-TeXAtom-ORD">
<mi>n</mi>
</mrow>
</msub>
<mo stretchy="false">)</mo>
<mo>∈<!-- ∈ --></mo>
<msup>
<mi mathvariant="normal">Σ<!-- Σ --></mi>
<mrow class="MJX-TeXAtom-ORD">
<mi>n</mi>
</mrow>
</msup>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle w=(w_{1},\ldots ,w_{n})\in \Sigma ^{n}}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/5fc6c55eb3b3ce77e1f3fe5f6d472f2ba59aaa46.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:23.088ex; height:2.843ex;" alt="{\displaystyle w=(w_{1},\ldots ,w_{n})\in \Sigma ^{n}}" loading="lazy"></span>.
</p>
<div class="mw-heading mw-heading2"><h2 id="Analyse">Analyse</h2></div>
<p>Die <i>N-Gramm-Analyse</i> wird verwendet, um die Frage zu beantworten, wie <a href="Bedingte_Wahrscheinlichkeit" title="Bedingte Wahrscheinlichkeit">wahrscheinlich</a> auf eine bestimmte Buchstaben- oder Wortfolge ein bestimmter Buchstabe oder ein bestimmtes Wort folgen wird. Die bedingten Wahrscheinlichkeiten für den nächsten Buchstaben der Folge „for ex…“ betragen für eine bestimmte Stichprobe aus dem Englischen in absteigender <a href="Rangordnung" title="Rangordnung">Rangreihenfolge</a> etwa: a&nbsp;=&nbsp;0,4, b&nbsp;=&nbsp;0,00001, c&nbsp;=&nbsp;0,… mit einer Gesamtsumme von&nbsp;1. Auf der Grundlage der N-Gramm-Häufigkeiten erscheint also eine Fortsetzung des Fragmentes mit „a“&nbsp;→&nbsp;„for exa(mple)“ deutlich wahrscheinlicher als die Alternativen.
</p><p>Die verwendete Sprache ist für die Analyse nicht von Bedeutung, wohl aber ihre <a href="Deskriptive_Statistik" title="Deskriptive Statistik">Statistik</a>: Die N-Gramm-Analyse funktioniert in jeder Sprache und jedem Alphabet. Daher hat sich die Analyse in den Feldern der <a href="Sprachtechnologie" title="Sprachtechnologie">Sprachtechnologie</a> bewährt: Zahlreiche Ansätze der <a href="Maschinelle_%C3%9Cbersetzung" title="Maschinelle Übersetzung">maschinellen Übersetzung</a> bauen auf den Daten auf, die mit dieser Methode gewonnen wurden.
</p><p>Besondere Bedeutung kommt der N-Gramm-Analyse dann zu, wenn große Datenmengen, beispielsweise <a href="E-Mail" title="E-Mail">E-Mails</a>, auf ein bestimmtes Themengebiet hin untersucht werden sollen. Durch die Ähnlichkeit mit einem Referenzdokument, etwa einem technischen Bericht über <a href="Atombombe" class="mw-redirect" title="Atombombe">Atombomben</a> oder <a href="Polonium" title="Polonium">Polonium</a>, lassen sich <a href="Cluster_(Datenanalyse)" title="Cluster (Datenanalyse)">Cluster</a> bilden: Je näher die Worthäufigkeiten in einer Mail an denen im Referenzdokument liegen, umso wahrscheinlicher ist, dass sich der Inhalt um dessen Thema dreht und unter bestimmten Umständen&nbsp;– in diesem Beispiel&nbsp;– eventuell Terrorismus-relevant sein könnte, selbst wenn Schlüsselwörter, die eindeutig auf Terrorismus hinweisen, selbst nicht auftauchen.
</p><p>Kommerziell verfügbare Programme, die diese fehlertolerante und äußerst schnelle Methode ausnutzen, sind <a href="Rechtschreibpr%C3%BCfung" title="Rechtschreibprüfung">Rechtschreibprüfungen</a> und <a href="Forensik" title="Forensik">Forensik</a>-Werkzeuge. In der Programmiersprache <a href="Java_(Programmiersprache)" title="Java (Programmiersprache)">Java</a> verfügt die <a href="Programmbibliothek" title="Programmbibliothek">Bibliothek</a> <a href="Apache_OpenNLP" title="Apache OpenNLP">Apache OpenNLP</a> über Werkzeuge zur N-Gramm-Analyse,<sup id="cite_ref-3" class="reference"><a href="#cite_note-3"><span class="cite-bracket">[</span>3<span class="cite-bracket">]</span></a></sup> in <a href="Python_(Programmiersprache)" title="Python (Programmiersprache)">Python</a> steht <a href="Natural_Language_Toolkit" title="Natural Language Toolkit">NLTK</a> zur Verfügung.<sup id="cite_ref-4" class="reference"><a href="#cite_note-4"><span class="cite-bracket">[</span>4<span class="cite-bracket">]</span></a></sup>
</p>
<div class="mw-heading mw-heading3"><h3 id="Google-Korpus">Google-Korpus</h3></div>
<div class="mw-heading mw-heading4"><h4 id="Web-Indexierung">Web-Indexierung</h4></div>
<p><a href="Google_LLC" title="Google LLC">Google</a> veröffentlichte im Jahr 2006 sechs DVDs<sup id="cite_ref-5" class="reference"><a href="#cite_note-5"><span class="cite-bracket">[</span>5<span class="cite-bracket">]</span></a></sup> mit englischsprachigen N-Grammen von einem bis fünf Wörtern, die bei der Indexierung des Webs entstanden. Nachfolgend einige Beispiele aus dem Google-<a href="Textkorpus" title="Textkorpus">Korpus</a> für 3-Gramme und 4-Gramme auf Wortebene (d.&nbsp;h. <i>n</i> entspricht der Anzahl der Wörter) und die Häufigkeiten, mit denen diese auftreten:<sup id="cite_ref-6" class="reference"><a href="#cite_note-6"><span class="cite-bracket">[</span>6<span class="cite-bracket">]</span></a></sup>
</p><p>3-Gramme:
</p>
<ul><li>ceramics collectables collectibles (55)</li>
<li>ceramics collectables fine (130)</li>
<li>ceramics collected by (52)</li>
<li>ceramics collectible pottery (50)</li>
<li>ceramics collectibles cooking (45)</li></ul>
<p>4-Gramme:
</p>
<ul><li>serve as the incoming (92)</li>
<li>serve as the incubator (99)</li>
<li>serve as the independent (794)</li>
<li>serve as the index (223)</li>
<li>serve as the indication (72)</li>
<li>serve as the indicator (120)</li></ul>
<dl><dt>Beispiel</dt>
<dd>Eine zu durchsuchende Zeichenkette lautet
<dl><dd><span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle s}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>s</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle s}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/01d131dfd7673938b947072a13a9744fe997e632.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.09ex; height:1.676ex;" alt="{\displaystyle s}" loading="lazy"></span> = {„Welcome to come“}.</dd>
<dd><span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle n=2}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>n</mi>
<mo>=</mo>
<mn>2</mn>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle n=2}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/a02c8bd752d2cc859747ca1f3a508281bdbc3b34.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:5.656ex; height:2.176ex;" alt="{\displaystyle n=2}" loading="lazy"></span> (sog. Bigramm)</dd>
<dd>Die Häufigkeit des Vorkommens der einzelnen Buchstaben-Bigramme wird bestimmt.</dd>
<dd>Somit lautet der „Frequenzvektor“ <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle f}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>f</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle f}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/132e57acb643253e7810ee9702d9581f159a1c61.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.671ex; width:1.279ex; height:2.509ex;" alt="{\displaystyle f}" loading="lazy"></span> für die Zeichenkette <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle s}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>s</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle s}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/01d131dfd7673938b947072a13a9744fe997e632.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.09ex; height:1.676ex;" alt="{\displaystyle s}" loading="lazy"></span>:</dd>
<dd>_W:1</dd>
<dd>We:1</dd>
<dd>el:1</dd>
<dd>lc:1</dd>
<dd>co:2</dd>
<dd>om:2</dd>
<dd>me:2</dd>
<dd>e_:2</dd>
<dd>_t:1</dd>
<dd>to:1</dd>
<dd>o_:1</dd>
<dd>_c:1</dd></dl></dd></dl>
<p>Das heißt <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle f=(1,1,1,1,2,2,2,2,1,1,1,1)}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>f</mi>
<mo>=</mo>
<mo stretchy="false">(</mo>
<mn>1</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>1</mn>
<mo stretchy="false">)</mo>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle f=(1,1,1,1,2,2,2,2,1,1,1,1)}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/eca33edc66d7c9b0a2a4224348295c33a14ee324.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:31.509ex; height:2.843ex;" alt="{\displaystyle f=(1,1,1,1,2,2,2,2,1,1,1,1)}" loading="lazy"></span>. Der Unterstrich steht für die Wortgrenze.
Die Länge des Vektors ist dabei durch <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\tbinom {|s|+2(n-1)}{n}}}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="false" scriptlevel="0">
<mrow>
<mrow class="MJX-TeXAtom-OPEN">
<mo maxsize="1.2em" minsize="1.2em">(</mo>
</mrow>
<mfrac linethickness="0">
<mrow>
<mrow class="MJX-TeXAtom-ORD">
<mo stretchy="false">|</mo>
</mrow>
<mi>s</mi>
<mrow class="MJX-TeXAtom-ORD">
<mo stretchy="false">|</mo>
</mrow>
<mo>+</mo>
<mn>2</mn>
<mo stretchy="false">(</mo>
<mi>n</mi>
<mo>−<!-- − --></mo>
<mn>1</mn>
<mo stretchy="false">)</mo>
</mrow>
<mi>n</mi>
</mfrac>
<mrow class="MJX-TeXAtom-CLOSE">
<mo maxsize="1.2em" minsize="1.2em">)</mo>
</mrow>
</mrow>
</mstyle>
</mrow>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle {\tbinom {|s|+2(n-1)}{n}}}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/bac07703d7e72f04e7a6d73bea0a702671a3d3e9.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:10.282ex; height:3.509ex;" alt="{\displaystyle {\tbinom {|s|+2(n-1)}{n}}}" loading="lazy"></span> nach oben beschränkt, wobei <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle |s|}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mrow class="MJX-TeXAtom-ORD">
<mo stretchy="false">|</mo>
</mrow>
<mi>s</mi>
<mrow class="MJX-TeXAtom-ORD">
<mo stretchy="false">|</mo>
</mrow>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle |s|}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/0ae65dea0cc836140252292ee9adf2d8b5102055.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:2.384ex; height:2.843ex;" alt="{\displaystyle |s|}" loading="lazy"></span> die Länge von <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle s}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>s</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle s}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/01d131dfd7673938b947072a13a9744fe997e632.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.09ex; height:1.676ex;" alt="{\displaystyle s}" loading="lazy"></span> und <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\tbinom {a}{b}}}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="false" scriptlevel="0">
<mrow>
<mrow class="MJX-TeXAtom-OPEN">
<mo maxsize="1.2em" minsize="1.2em">(</mo>
</mrow>
<mfrac linethickness="0">
<mi>a</mi>
<mi>b</mi>
</mfrac>
<mrow class="MJX-TeXAtom-CLOSE">
<mo maxsize="1.2em" minsize="1.2em">)</mo>
</mrow>
</mrow>
</mstyle>
</mrow>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle {\tbinom {a}{b}}}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/acc08452b1bbfb4a4e79603df7d57dc99d821552.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.005ex; width:2.999ex; height:3.176ex;" alt="{\displaystyle {\tbinom {a}{b}}}" loading="lazy"></span> der <a href="Binomialkoeffizient" title="Binomialkoeffizient">Binomialkoeffizient</a> ist.
</p>
<div class="mw-heading mw-heading4"><h4 id="Google_Books_Korpus">Google Books Korpus</h4></div>
<p>Ein Datensatz aus <a href="Google_Books" title="Google Books">Google Books</a> mit Stichtag Juli 2009 wurde mit einer Weboberfläche und grafischer Auswertung in Form von <a href="Diagramm" title="Diagramm">Diagrammen</a> versehen und unter dem Namen <b>Google Books Ngram Viewer</b> ins Netz gestellt.<sup id="cite_ref-7" class="reference"><a href="#cite_note-7"><span class="cite-bracket">[</span>7<span class="cite-bracket">]</span></a></sup> Standardmäßig zeigt sie die normalisierte Häufigkeit relativ zur Anzahl der bis zu diesem Jahr vorhandenen Bücher für bis zu 5-Gramme. Mit Operatoren lassen sich mehrere Begriffe zu einem Graphen zusammenfassen (+), ein Multiplikator für sehr unterschiedlich vorkommende Begriffe einbauen (*), das Verhältnis zwischen zwei Begriffen darstellen (-, /) oder verschiedene Korpora vergleichen (:). Die Grafiken können frei verwendet werden („freely used for any purpose“<sup id="cite_ref-google-info_8-0" class="reference"><a href="#cite_note-google-info-8"><span class="cite-bracket">[</span>8<span class="cite-bracket">]</span></a></sup>), wobei die Angabe der Quelle und ein Link erwünscht sind. Die Grunddaten sind für eigene Auswertungen in einzelne Pakete gesplittet downloadbar und stehen unter <a href="Creative_Commons" title="Creative Commons">Creative Commons</a> Attribution Lizenz. Neben einer Auswertungsmöglichkeit für Englisch allgemein gibt es spezielle Abfragen für <i>American English</i> und <i>British English</i> (differenziert anhand der Veröffentlichungsorte), sowie für <i>English Fiction</i> (anhand der Einstufung der Bibliotheken) und <i>English One Million</i>. Bei letzterem wurden proportional zur Anzahl veröffentlichter und gescannter Bücher von 1500 bis 2008 bis zu 6000 Bücher pro Jahr zufällig ausgewählt. Zusätzlich gibt es auch Korpora für Deutsch, vereinfachtes Chinesisch, Französisch, Hebräisch, Russisch und Spanisch. Zur <a href="Tokenisierung" title="Tokenisierung">Tokenisierung</a> wurden einfach die Leerzeichen herangezogen. Die N-Gramm-Bildung geschah über Satzgrenzen hinweg, aber nicht über Seitengrenzen. Es wurden nur Wörter aufgenommen, die mindestens 40-mal im Korpus vorkommen.
</p><p>Ein neues Korpus mit Stichtag Juli 2012 wurde Ende des Jahres zugänglich gemacht. Als neue Sprache kam Italienisch hinzu, <i>English One Million</i> wurde nicht wieder gebildet. Grundlegend basiert das Korpus auf einer größeren Anzahl von Büchern, verbesserter <a href="Optical_character_recognition" class="mw-redirect" title="Optical character recognition">OCR</a>-Technik und verbesserten <a href="Metadaten" title="Metadaten">Metadaten</a>. Die Tokenisierung geschah hier nach einem Set handgeschriebener Regeln, außer für Chinesisch, wo eine statistische Methode zur <a href="Segmentierung_(Linguistik)" title="Segmentierung (Linguistik)">Segmentierung</a> genutzt wurde. Die N-Gramm-Bildung endet nun bei Satzgrenzen, geht aber dabei nun über Seitengrenzen hinweg. Mit den nun beachteten Satzgrenzen sind neue Funktionen für das 2012er-Korpus eingeführt worden, die bei 1-, 2- und 3-Grammen auch mit hoher Wahrscheinlichkeit die Stellung im Satz auswerten lassen und so beispielsweise auch im Englischen homographe (gleich geschriebene) Substantive und Verben unterscheiden lassen, wobei dies in moderner Sprache besser funktioniert.<sup id="cite_ref-google-info_8-1" class="reference"><a href="#cite_note-google-info-8"><span class="cite-bracket">[</span>8<span class="cite-bracket">]</span></a></sup><sup id="cite_ref-9" class="reference"><a href="#cite_note-9"><span class="cite-bracket">[</span>9<span class="cite-bracket">]</span></a></sup>
</p><p>Mit Stichtag Februar 2020 wurde nunmehr ein drittes Korpus mit dem Nennjahr 2019 ins Netz gestellt, dessen Features denen der Version 2012 entsprechen.
</p>
<div class="mw-heading mw-heading3"><h3 id="Dice-Koeffizient">Dice-Koeffizient</h3></div>
<p>Der Dice-Koeffizient ist eins von mehreren <a href="%C3%84hnlichkeitsanalyse" title="Ähnlichkeitsanalyse">Ähnlichkeitsmaßen</a> für Terme. Er ermittelt den Anteil der N-Gramme, die in zwei Termen <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle a}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>a</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle a}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/ffd2487510aa438433a2579450ab2b3d557e5edc.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.23ex; height:1.676ex;" alt="{\displaystyle a}" loading="lazy"></span> und <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle b}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>b</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle b}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/f11423fbb2e967f986e36804a8ae4271734917c3.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:0.998ex; height:2.176ex;" alt="{\displaystyle b}" loading="lazy"></span> vorhanden sind. Die Formel ist
</p>
<dl><dd><span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle d(a,b)={\frac {2|T(a)\cap T(b)|}{|T(a)|+|T(b)|}},}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>d</mi>
<mo stretchy="false">(</mo>
<mi>a</mi>
<mo>,</mo>
<mi>b</mi>
<mo stretchy="false">)</mo>
<mo>=</mo>
<mrow class="MJX-TeXAtom-ORD">
<mfrac>
<mrow>
<mn>2</mn>
<mrow class="MJX-TeXAtom-ORD">
<mo stretchy="false">|</mo>
</mrow>
<mi>T</mi>
<mo stretchy="false">(</mo>
<mi>a</mi>
<mo stretchy="false">)</mo>
<mo>∩<!-- ∩ --></mo>
<mi>T</mi>
<mo stretchy="false">(</mo>
<mi>b</mi>
<mo stretchy="false">)</mo>
<mrow class="MJX-TeXAtom-ORD">
<mo stretchy="false">|</mo>
</mrow>
</mrow>
<mrow>
<mrow class="MJX-TeXAtom-ORD">
<mo stretchy="false">|</mo>
</mrow>
<mi>T</mi>
<mo stretchy="false">(</mo>
<mi>a</mi>
<mo stretchy="false">)</mo>
<mrow class="MJX-TeXAtom-ORD">
<mo stretchy="false">|</mo>
</mrow>
<mo>+</mo>
<mrow class="MJX-TeXAtom-ORD">
<mo stretchy="false">|</mo>
</mrow>
<mi>T</mi>
<mo stretchy="false">(</mo>
<mi>b</mi>
<mo stretchy="false">)</mo>
<mrow class="MJX-TeXAtom-ORD">
<mo stretchy="false">|</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
<mo>,</mo>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle d(a,b)={\frac {2|T(a)\cap T(b)|}{|T(a)|+|T(b)|}},}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/1152d853fce84309157cf6944710844573a42fca.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -2.671ex; width:25.414ex; height:6.509ex;" alt="{\displaystyle d(a,b)={\frac {2|T(a)\cap T(b)|}{|T(a)|+|T(b)|}},}" loading="lazy"></span></dd></dl>
<p>wobei <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle T(x)}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>T</mi>
<mo stretchy="false">(</mo>
<mi>x</mi>
<mo stretchy="false">)</mo>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle T(x)}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/1171c29b4c2b5575f50a4ea9313f90448a2cbe05.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.838ex; width:4.775ex; height:2.843ex;" alt="{\displaystyle T(x)}" loading="lazy"></span> die Menge der N-Gramme des Terms <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle x}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mi>x</mi>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle x}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/87f9e315fd7e2ba406057a97300593c4802b53e4.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.33ex; height:1.676ex;" alt="{\displaystyle x}" loading="lazy"></span> ist. d&nbsp;liegt dabei immer zwischen 0 und&nbsp;1.
</p>
<div class="sieheauch" role="navigation" style="font-style:italic;"><span class="sieheauch-text">Siehe auch</span>: <a href="Distanzfunktion" title="Distanzfunktion">Distanzfunktion</a></div>
<div class="mw-heading mw-heading4"><h4 id="Beispiel">Beispiel</h4></div>
<ul><li>Term a = "wirk"</li>
<li>Term b = "work"</li></ul>
<p>Bei Verwendung von Trigrammen sieht die Zerlegung folgendermaßen aus:
</p>
<ul><li>T(a) = {§§w, §wi, wir, irk, rk§, k§§}</li>
<li>T(b) = {§§w, §wo, wor, ork, rk§, k§§}</li></ul>
<ul><li>T(a) <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle \cap }">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mo>∩<!-- ∩ --></mo>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle \cap }</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/9d4e886e6f5a28a33e073fb108440c152ecfe2d3.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -0.338ex; width:1.55ex; height:2.009ex;" alt="{\displaystyle \cap }" loading="lazy"></span> T(b) = {§§w, k§§, rk§}</li></ul>
<p>Das heißt d(wirk, work) = <span class="mwe-math-element mwe-math-element-inline"><span class="mwe-math-mathml-inline mwe-math-mathml-a11y" style="display: none;"><math xmlns="http://www.w3.org/1998/Math/MathML" alttext="{\displaystyle {\tfrac {2\cdot 3}{6+6}}={\tfrac {1}{2}}}">
<semantics>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="true" scriptlevel="0">
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="false" scriptlevel="0">
<mfrac>
<mrow>
<mn>2</mn>
<mo>⋅<!-- ⋅ --></mo>
<mn>3</mn>
</mrow>
<mrow>
<mn>6</mn>
<mo>+</mo>
<mn>6</mn>
</mrow>
</mfrac>
</mstyle>
</mrow>
<mo>=</mo>
<mrow class="MJX-TeXAtom-ORD">
<mstyle displaystyle="false" scriptlevel="0">
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
</mstyle>
</mrow>
</mstyle>
</mrow>
<annotation encoding="application/x-tex">{\displaystyle {\tfrac {2\cdot 3}{6+6}}={\tfrac {1}{2}}}</annotation>
</semantics>
</math></span><img src="./_assets_/eb734a37dd21ce173a46342d1cc64c92/3a2564d8f93a39043da8b8d186e6504728852fe6.svg" class="mwe-math-fallback-image-inline mw-invert skin-invert" aria-hidden="true" style="vertical-align: -1.338ex; width:8.515ex; height:3.676ex;" alt="{\displaystyle {\tfrac {2\cdot 3}{6+6}}={\tfrac {1}{2}}}" loading="lazy"></span>.
Der Dice-Koeffizient beträgt also 0,5 (50&nbsp;%).
</p>
<div class="mw-heading mw-heading4"><h4 id="Anwendungsgebiete">Anwendungsgebiete</h4></div>
<p>Aufgrund der weitgehenden Sprachneutralität kann dieser Algorithmus auf folgenden Gebieten angewandt werden:
</p>
<ul><li><a href="Rechtschreibkorrektur" class="mw-redirect" title="Rechtschreibkorrektur">Rechtschreibkorrektur</a> (für Korrekturvorschläge)</li>
<li>Suche nach ähnlichen Schlüsselwörtern (Überwachung, <a href="Spracherkennung#Sprachmodell" title="Spracherkennung">Spracherkennung</a>)</li>
<li>Grundwortreduktion (<a href="Stemming" title="Stemming">Stemming</a>) im <a href="Information_Retrieval" title="Information Retrieval">Information Retrieval</a></li></ul>
<div class="mw-heading mw-heading2"><h2 id="Statistik">Statistik</h2></div>
<p>Als <b>N-Gramm-Statistik</b> bezeichnet man eine <a href="Statistik" title="Statistik">Statistik</a> über die Häufigkeit von N-Grammen, manchmal auch von Wortkombinationen aus N Wörtern. Spezialfälle sind die Bigrammstatistik und die Trigrammstatistik. Anwendungen finden N-Gramm-Statistiken in der <a href="Kryptoanalyse" title="Kryptoanalyse">Kryptoanalyse</a> und in der <a href="Linguistik" class="mw-redirect" title="Linguistik">Linguistik</a>, dort vor allem bei <a href="Spracherkennung" title="Spracherkennung">Spracherkennungssystemen</a>. Dabei prüft das System während der Erkennung die verschiedenen Hypothesen zusammen mit dem Kontext und kann dadurch <a href="Homophon" title="Homophon">Homophone</a> (gleich klingende Wörter) unterscheiden. In der Quantitativen Linguistik interessiert unter anderem die Rangordnung der N-Gramme nach Häufigkeit sowie die Frage, welchen Gesetzen sie folgt. Eine Statistik von Digrammen (und Trigrammen) im Deutschen, Englischen und Spanischen findet man bei Meier<sup id="cite_ref-10" class="reference"><a href="#cite_note-10"><span class="cite-bracket">[</span>10<span class="cite-bracket">]</span></a></sup> und <a href="Albrecht_Beutelspacher" title="Albrecht Beutelspacher">Beutelspacher</a>.<sup id="cite_ref-11" class="reference"><a href="#cite_note-11"><span class="cite-bracket">[</span>11<span class="cite-bracket">]</span></a></sup>
</p><p>Für aussagefähige Statistiken sollten ausreichend große Textbasen von mehreren Millionen Buchstaben oder Wörtern benutzt werden. Als Beispiel ergibt die statistische Auswertung einer deutschen Textbasis von etwa acht Millionen Buchstaben „ICH“ als das häufigste Trigramm mit einer relativen Häufigkeit von 1,15&nbsp;Prozent. Die folgende Tabelle gibt eine Übersicht über die zehn (in dieser Textbasis) als häufigste ermittelten Trigramme:
</p>
<table class="wikitable">
<tbody><tr>
<th>Trigramm</th>
<th>Häufigkeit
</th></tr>
<tr>
<td>ICH</td>
<td>1,15&nbsp;%
</td></tr>
<tr>
<td>EIN</td>
<td>1,08&nbsp;%
</td></tr>
<tr>
<td>UND</td>
<td>1,05&nbsp;%
</td></tr>
<tr>
<td>DER</td>
<td>0,97&nbsp;%
</td></tr>
<tr>
<td>NDE</td>
<td>0,83&nbsp;%
</td></tr>
<tr>
<td>SCH</td>
<td>0,65&nbsp;%
</td></tr>
<tr>
<td>DIE</td>
<td>0,64&nbsp;%
</td></tr>
<tr>
<td>DEN</td>
<td>0,62&nbsp;%
</td></tr>
<tr>
<td>END</td>
<td>0,60&nbsp;%
</td></tr>
<tr>
<td>CHT</td>
<td>0,60&nbsp;%
</td></tr></tbody></table>
<div class="mw-heading mw-heading2"><h2 id="Literatur">Literatur</h2></div>
<ul><li><a href="Wolfgang_Sch%C3%B6npflug" title="Wolfgang Schönpflug">Wolfgang Schönpflug</a>: <i>N-Gramm-Häufigkeiten in der deutschen Sprache. I. Monogramme und Digramme.</i> In: <i>Zeitschrift für experimentelle und angewandte Psychologie</i> XVI, 1969, S. 157–183.</li></ul>
<div class="mw-heading mw-heading2"><h2 id="Weblinks">Weblinks</h2></div>
<ul><li><a rel="nofollow" class="external text" href="https://www.sttmedia.de/silbenzaehler">Tool zum Zählen von Mono-, Di- und Trigrammen mit Häufigkeitstabellen von N-Grammen aus 20 Sprachen</a></li>
<li><a rel="nofollow" class="external text" href="http://books.google.com/ngrams/graph?content=Wikipedia%2CLexikon%2C+Nachschlagewerk&amp;year_start=1800&amp;year_end=2008&amp;corpus=8&amp;smoothing=2">Google Ngram Viewer am Beispiel »Wikipedia, Lexikon, Nachschlagewerk«</a></li>
<li><a rel="nofollow" class="external text" href="http://litre.uni-goettingen.de/index.php/Google_Ngram_Viewer">Google Ngram Viewer</a> im Wiki <i>Literatur Rechnen – Neue Wege der Textanalyse (LitRe-Wiki)</i> der <a href="Universit%C3%A4t_G%C3%B6ttingen" class="mw-redirect" title="Universität Göttingen">Universität Göttingen</a></li></ul>
<div class="sisterproject" style="margin:0.1em 0 0 0;"><span class="noviewer" style="display:inline-block; line-height:10px; min-width:1.6em; text-align:center;" aria-hidden="true" role="presentation"><span class="mw-default-size" typeof="mw:File"><span title="Wiktionary"></span></span></span><b><a href="https://de.wiktionary.org/wiki/N-Gramm" class="extiw external" title="wikt:N-Gramm">Wiktionary: N-Gramm</a></b>&nbsp;– Bedeutungserklärungen, Wortherkunft, Synonyme, Übersetzungen</div>
<div class="mw-heading mw-heading2"><h2 id="Einzelnachweise">Einzelnachweise</h2></div>
<ol class="references">
<li id="cite_note-1"><span class="mw-cite-backlink"><a href="#cite_ref-1">↑</a></span> <span class="reference-text"><span class="cite">Stefan-Patrick Selbach: <a rel="nofollow" class="external text" href="https://opus.bibliothek.uni-wuerzburg.de/files/5389/selbach_diss.pdf"><i>Hybride bitparallele Volltextsuche.</i></a> (PDF, 3,5&nbsp;MB) In: <i>Dissertation.</i> Universität Würzburg, Fakultät für Mathematik und Informatik, 2011, <span style="white-space:nowrap;">S. 20</span>,<span class="Abrufdatum"> abgerufen am 8.&nbsp;Oktober 2021</span>.</span><span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&amp;rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&amp;rfr_id=info%3Asid%2Fde.wikipedia.org%3AN-Gramm&amp;rft.title=Hybride+bitparallele+Volltextsuche&amp;rft.description=Hybride+bitparallele+Volltextsuche&amp;rft.identifier=https%3A%2F%2Fopus.bibliothek.uni-wuerzburg.de%2Ffiles%2F5389%2Fselbach_diss.pdf&amp;rft.creator=Stefan-Patrick+Selbach&amp;rft.publisher=Universit%C3%A4t+W%C3%BCrzburg%2C+Fakult%C3%A4t+f%C3%BCr+Mathematik+und+Informatik&amp;rft.date=2011">&nbsp;</span></span>
</li>
<li id="cite_note-2"><span class="mw-cite-backlink"><a href="#cite_ref-2">↑</a></span> <span class="reference-text"><span class="cite">Dan Jurafsky <a href="Stanford_University" title="Stanford University">Stanford University</a> and James H. Martin <a href="University_of_Colorado_Boulder" title="University of Colorado Boulder">University of Colorado Boulder</a>: <a rel="nofollow" class="external text" href="https://web.stanford.edu/~jurafsky/slp3/"><i>Speech and Language Processing - An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition.</i></a> In: <i>3. Language Modeling with N-Grams.</i><span class="Abrufdatum"> Abgerufen am 3.&nbsp;April 2020</span> (englisch).</span><span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&amp;rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&amp;rfr_id=info%3Asid%2Fde.wikipedia.org%3AN-Gramm&amp;rft.title=Speech+and+Language+Processing+-+An+Introduction+to+Natural+Language+Processing%2C+Computational+Linguistics%2C+and+Speech+Recognition&amp;rft.description=Speech+and+Language+Processing+-+An+Introduction+to+Natural+Language+Processing%2C+Computational+Linguistics%2C+and+Speech+Recognition&amp;rft.identifier=https%3A%2F%2Fweb.stanford.edu%2F%7Ejurafsky%2Fslp3%2F&amp;rft.creator=Dan+Jurafsky+%5B%5BStanford+University%5D%5D+and+James+H.+Martin+%5B%5BUniversity+of+Colorado+Boulder%5D%5D&amp;rft.language=en">&nbsp;</span></span>
</li>
<li id="cite_note-3"><span class="mw-cite-backlink"><a href="#cite_ref-3">↑</a></span> <span class="reference-text"><span class="cite"><a rel="nofollow" class="external text" href="https://www.tutorialkart.com/opennlp/ngram-features-for-document-classification-in-opennlp/"><i>How to use NGram features for Document Classification in OpenNLP.</i></a> In: <i>TutorialKart.</i><span class="Abrufdatum"> Abgerufen am 3.&nbsp;April 2020</span> (amerikanisches Englisch).</span><span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&amp;rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&amp;rfr_id=info%3Asid%2Fde.wikipedia.org%3AN-Gramm&amp;rft.title=How+to+use+NGram+features+for+Document+Classification+in+OpenNLP&amp;rft.description=How+to+use+NGram+features+for+Document+Classification+in+OpenNLP&amp;rft.identifier=https%3A%2F%2Fwww.tutorialkart.com%2Fopennlp%2Fngram-features-for-document-classification-in-opennlp%2F&amp;rft.language=en-US">&nbsp;</span></span>
</li>
<li id="cite_note-4"><span class="mw-cite-backlink"><a href="#cite_ref-4">↑</a></span> <span class="reference-text"><span class="cite"><a rel="nofollow" class="external text" href="http://www.pythonprogramming.in/generate-the-n-grams-for-the-given-sentence-using-nltk-or-textblob.html"><i>Generate the N-grams for the given sentence.</i></a> In: <i>Python Programming.</i> 3.&nbsp;Mai 2019,<span class="Abrufdatum"> abgerufen am 4.&nbsp;April 2020</span> (englisch).</span><span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&amp;rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&amp;rfr_id=info%3Asid%2Fde.wikipedia.org%3AN-Gramm&amp;rft.title=Generate+the+N-grams+for+the+given+sentence&amp;rft.description=Generate+the+N-grams+for+the+given+sentence&amp;rft.identifier=http%3A%2F%2Fwww.pythonprogramming.in%2Fgenerate-the-n-grams-for-the-given-sentence-using-nltk-or-textblob.html&amp;rft.date=2019-05-03&amp;rft.language=en">&nbsp;</span></span>
</li>
<li id="cite_note-5"><span class="mw-cite-backlink"><a href="#cite_ref-5">↑</a></span> <span class="reference-text"><style data-mw-deduplicate="TemplateStyles:r261891140">
/* start https://de.wikipedia.org/ */


.mw-parser-output .webarchiv-memento a{color:inherit}


/* end https://de.wikipedia.org/ */
</style><a rel="nofollow" class="external text" href="https://web.archive.org/web/20130929081544/http://www.ldc.upenn.edu/Catalog/CatalogEntry.jsp?catalogId=LDC2006T13">Web 1T 5-gram Version 1</a> (<span class="webarchiv-memento"><a href="Webarchivierung#Begrifflichkeiten" title="Webarchivierung">Memento</a></span> vom 29. September 2013 im <i><a href="Internet_Archive" title="Internet Archive">Internet Archive</a></i>)</span>
</li>
<li id="cite_note-6"><span class="mw-cite-backlink"><a href="#cite_ref-6">↑</a></span> <span class="reference-text">
<span class="cite">Alex Franz and Thorsten Brants: <a rel="nofollow" class="external text" href="https://googleresearch.blogspot.com/2006/08/all-our-n-gram-are-belong-to-you.html"><i>All Our N-gram are Belong to You.</i></a> In: <i>Google Research Blog.</i> 2006,<span class="Abrufdatum"> abgerufen am 16.&nbsp;Dezember 2011</span>.</span><span style="display: none;" class="Z3988" title="ctx_ver=Z39.88-2004&amp;rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Adc&amp;rfr_id=info%3Asid%2Fde.wikipedia.org%3AN-Gramm&amp;rft.title=All+Our+N-gram+are+Belong+to+You&amp;rft.description=All+Our+N-gram+are+Belong+to+You&amp;rft.identifier=&amp;rft.creator=Alex+Franz+and+Thorsten+Brants&amp;rft.date=2006">&nbsp;</span></span>
</li>
<li id="cite_note-7"><span class="mw-cite-backlink"><a href="#cite_ref-7">↑</a></span> <span class="reference-text"><a rel="nofollow" class="external text" href="http://books.google.com/ngrams">Google Books Ngram Viewer</a></span>
</li>
<li id="cite_note-google-info-8"><span class="mw-cite-backlink">↑ <sup><a href="#cite_ref-google-info_8-0">a</a></sup> <sup><a href="#cite_ref-google-info_8-1">b</a></sup></span> <span class="reference-text"><a rel="nofollow" class="external text" href="https://books.google.com/ngrams/info">Google Books Ngram Viewer - Info</a></span>
</li>
<li id="cite_note-9"><span class="mw-cite-backlink"><a href="#cite_ref-9">↑</a></span> <span class="reference-text"><a rel="nofollow" class="external text" href="http://storage.googleapis.com/books/ngrams/books/datasetsv2.html">Google Books Ngram Viewer - Datasets</a></span>
</li>
<li id="cite_note-10"><span class="mw-cite-backlink"><a href="#cite_ref-10">↑</a></span> <span class="reference-text">Helmut Meier: <i>Deutsche Sprachstatistik.</i> Zweite erweiterte und verbesserte Auflage. Olms, Hildesheim 1967, S. 336–339</span>
</li>
<li id="cite_note-11"><span class="mw-cite-backlink"><a href="#cite_ref-11">↑</a></span> <span class="reference-text">Albrecht Beutelspacher: <i>Kryptologie</i>. 7. Aufl., Vieweg, Wiesbaden 2005, ISBN 3-8348-0014-7, Seite 230–236; dabei auch: Trigramme.</span>
</li>
</ol></div><!--htdig_noindex--><div><div class="zim-footer">
Dieser Artikel wurde von <a class="external text" title="Zuletzt bearbeitet am 2025-12-21" href="https://de.wikipedia.org/wiki/?title=N-Gramm&amp;oldid=262601807">Wikipedia</a> herausgegeben. Der Text ist unter <a class="external text" href="https://creativecommons.org/licenses/by-sa/4.0/deed.de">Creative Commons Attribution-Share Alike 4.0</a> verfügbar, sofern nicht anders angegeben. Für die Mediendateien können zusätzliche Bedingungen gelten.
</div>
</div><!--/htdig_noindex--></div>
</div>
</main>
</div>
</div>
</div>
<script src="./_webp_/webpHandler.js"></script>

</body></html>